Il cambiamento fondamentale nell'elaborazione ad alte prestazioni consiste nel passare da un modello di esecuzione seriale centrato sulla CPU a un modello svincolato produttore-consumatore, in cui la CPU gestisce la pipeline mentre la GPU opera autonomamente. La chiave è comprendere che la GPU non deve essere gestita come un dispositivo strettamente sincrono; trattarla in questo modo crea un collo di bottiglia del tipo "ferma e aspetta".

1. Il ciclo di vita del flusso di lavoro

Con una mentalità asincrona, lo sviluppatore non attende che ogni compito sia completato. Invece, essi allocano la memoria, avviano i kernel, e copiano indietro i risultati inserendo richieste non bloccanti in una coda hardware.

2. Superare i blocchi

Quando l'host è costretto a sincronizzare dopo ogni operazione, il tempo di latenza—il tempo necessario per il trasferimento tra CPU e GPU—domina le prestazioni. Utilizzando l'asincronia, la CPU continua a lavorare mentre la GPU elabora il suo flusso, massimizzando la saturazione dell'hardware.

$$\text{Tempo Totale} = \max(\text{Lavoro CPU}, \text{Lavoro GPU}) + \text{Overhead di Sincronizzazione}$$